MLCommons, un grupo que desarrolla pruebas de referencia para la tecnología de inteligencia artificial (IA), dio a conocer el martes los resultados de una nueva prueba que determina las velocidades del sistema cuando se entrenan algoritmos utilizados para chatbots como ChatGPT y Nvidia salió en la parte superior.
El punto de referencia de MLPerf se basa en GPT-3, un modelo de IA utilizado para entrenar a ChatGPT, el chatbot viral desarrollado por OpenAI y respaldado por Microsoft. Sin embargo, debido a que el modelo es enorme, el punto de referencia solo usa una porción representativa.
«Este fue nuestro punto de referencia más caro hasta ahora», dijo a Reuters el director ejecutivo de MLCommons, David Kanter. «Pasamos más de 600 000 horas de tiempo de cómputo del acelerador para desarrollarlo, además de algunos ingenieros con un talento fantástico».
Kanter se negó a revelar el costo del desarrollo y solo dijo que era de millones de dólares.
Solo dos firmas de chips, Nvidia e Intel Habana Labs, presentaron resultados para el benchmark, y el tiempo más rápido provino de sistemas que utilizan el último chip H100 de Nvidia, el líder indiscutible en hardware para entrenar IA.
El sistema más grande de Nvidia presentado en asociación con la startup de nube de IA CoreWeave utilizó 3584 chips H100, lo que resultó en un tiempo de entrenamiento de 10,94 minutos. Habana Labs, una empresa de chips de IA adquirida por Intel, ejecutó el benchmark en 311,945 minutos con un sistema mucho más pequeño equipado con 384 chips Gaudi2.
Generalmente, más chips y un sistema más grande significan un entrenamiento más rápido.
Jordan Plawner, director sénior de Productos de IA de Intel, dijo que los resultados demostraron el potencial de Gaudi2, que tendrá una actualización de software en septiembre para aumentar la velocidad.
«Obtendrá una velocidad de 1.5X a 2X en los resultados de Habana. Entonces es cuando vemos que Habana Gaudi2 es realmente competitivo y tiene un precio más bajo que H100», dijo Plawner a Reuters.
Plawner se negó a decir cuánto cuesta un chip Gaudi2, pero dijo que la industria necesita un segundo proveedor de chips para el entrenamiento de IA, y los resultados de MLPerf muestran que Intel puede satisfacer esa necesidad.
